#!/bin/bash
set -x
export VLLM_ENGINE_ITERATION_TIMEOUT_S=36000
export VLLM_RPC_TIMEOUT=36000000




XINFERENCE_MODEL_SRC=modelscope XINFERENCE_HOME=/xinference/xinference_cache xinference-local -H 0.0.0.0 &
while true; do
  if curl -s "http://localhost:9997" > /dev/null; then
    break
  else
    sleep 1
  fi
done

xinference launch --model-engine vllm --model-name qwen3 --size-in-billions 14  --model-format awq --quantization Int4 --model_path /mnt/share/1/Qwen/Qwen3-14B-AWQ --n-gpu 4 --replica 4 --trust-remote-code 1
#xinference launch --model-engine vllm --model-name qwen3 --size-in-billions 32  --model-format pytorch --model_path /home/weights/Qwen/Qwen3-32B --n-gpu 4 --replica 1 --trust-remote-code 1 --max_model_len $[32*1024] --enable_chunked_prefill --enable_prefix_caching 
#xinference launch --model-engine vllm --model-name qwen3 --size-in-billions 0_6 --model-format pytorch --model_path /mnt/share/1/Qwen/Qwen3-0.6B --n-gpu 1 --replica 2 --trust-remote-code 1 --enable_thinking --reasoning_content
#xinference launch --model-engine vllm --model-name qwen2.5-instruct --size-in-billions 32 --model-format awq --model_path /mnt/share/1/Qwen/Qwen2.5-32B-Instruct-AWQ --n-gpu 2 --replica 1 --trust-remote-code 1
#xinference launch --model-engine vllm --model-name QwQ-32B --size-in-billions 32 --model-format awq --model_path /mnt/share/1/Qwen/QwQ-32B-AWQ --n-gpu 2 --replica 1 --trust-remote-code 1
#xinference launch --model-engine vllm --model-name qwen3 --size-in-billions 30  --model-format pytorch --model_path /mnt/share/1/Qwen/Qwen3-30B-A3B --n-gpu 4 --replica 2 --trust-remote-code 1
#xinference launch --model-engine vllm --model-name qwen3 --size-in-billions 235 --model-format pytorch --model_path /mnt/share/1/Qwen/Qwen3-235B-A22B --n-gpu 16 --replica 1 --max_model_len 1024 --gpu_memory_utilization 0.96 --trust-remote-code 1

PID1=$!
wait $PID1
wait


